Cha của Ngải Vị Vị là nhà thơ Trung Quốc Ngải Thanh, ông bị tố giác trong Phong trào chống cánh hữu và năm 1958 bị gửi đi một trại lao động ở Tân Cương cùng với người vợ, Cao Anh (高瑛 Gao Ying).[7] Ngải Vị Vị lúc đó mới một tuổi và sống ở Thạch Hà Tử (Tân Cương) trong 16 năm. Năm 1975, gia đình trở về Bắc Kinh.[8] Ngài Vị Vị kết hôn với nghệ sĩ Lộ Thanh (路青 Lu Qing).[7]